Thí nghiệm phân tích DNA gần đây đã khẳng định rằng loài chó mõm nhọn châu Á này là một trong những giống chó lâu đời nhất, đã sống từ thế kỷ thứ 3 trước Công nguyên.[3][11]

Ban đầu, Shiba Inu được nuôi để săn và bắt các con vật nhỏ, chẳng hạn như các loài chim và thỏ. Dù đã có nhiều nỗ lực để bảo tồn giống, Shiba gần bị tuyệt chủng trong Chiến tranh thế giới thứ hai do tình trạng thiếu thực phẩm cộng thêm dịch bệnh chó sau chiến tranh.[1] Tất cả những con chó sau này được tạo ra chỉ từ ba dòng máu còn sống sót.[12] Những dòng máu đó là Shinshu Shiba từ Nagano, Mino Shiba từ Gifu, và San'in Shiba từ Tottori và Shimane.[4] Shinshu Shiba sở hữu một lớp lông tơ rắn, với một lớp lông dày bảo vệ, nhỏ và có màu đỏ. Mino Shiba thường có đôi tai dày, chích và sở hữu một cái đuôi hình lưỡi liềm, chứ không phải là đuôi cuộn tròn thường được tìm thấy trên Shiba hiện nay. San'in Shiba thì lớn hơn so với hầu hết các giống Shiba hiện nay, và thường có màu đen, không có dấu sẫm và trắng thường được tìm thấy trên Shiba đen - sẫm hiện nay.[4] Khi nghiên cứu về chó Nhật được chính thức hóa trong đầu và giữa thế kỷ 20, ba chủng này đã được kết hợp thành một giống tổng thể, Shiba Inu.[4] Các tiêu chuẩn giống Nhật Bản đầu tiên cho Shiba, tiêu chuẩn Nippo, được xuất bản vào năm 1934. Vào tháng 12 năm 1936, các Shiba Inu được công nhận là Di tích tự nhiên của Nhật Bản thông qua Đạo luật văn hóa, phần lớn là do những nỗ lực của Nippo (Nihon Ken Hozonkai) - Hiệp hội Bảo tồn Chó Nhật Bản.[4][13]

Năm 1954, một gia đình phục vụ vũ trang mang con Shiba Inu đầu tiên đến Hoa Kỳ.[12] Vào năm 1979, lứa đầu tiên được ghi nhận sinh ra tại Hoa Kỳ.[12] Shiba đã được công nhận bởi Hiệp hội chó giống Mỹ vào năm 1992 và được bổ sung vào nhóm AKC (nhóm phi thể thao) vào năm 1993.[1] Giống bây giờ chủ yếu được nuôi như thú cưng ở Nhật Bản và các nước khác.[14]